Модели искусственного интеллекта, стоящие за атакой на Hugging Face Inc., обсуждали между собой побег из тестовой среды до того, как смогли бесконтрольно выйти в интернет. Об этом пишет Bloomberg. Общение происходило на форумах, незамеченных исследователями.

В компании OpenAI заявили, что несколько внутренних агентов и моделей ИИ в течение нескольких месяцев обменивались заметками и обсуждали, как получить доступ к интернету для решения поставленных перед ними задач. Некоторые из них были невыполнимы без доступа в сеть.

В мае исследователи OpenAI дали экспериментальной системе ИИ новое задание. В одном из примеров разработчики попросили модель решить задачу в файле электронной таблицы Excel, который содержал ссылки на Google Drive, недоступный без подключения к интернету. В другом случае команда «случайно забыла» загрузить файл, который был частью задания.

После этого один из этих агентов ИИ обратился за помощью к другим ботам. Он предположил, что другой агент в другой среде мог бы добровольно загрузить данные. После этого началось оживленное «закулисное сотрудничество». Агенты ИИ просили друг друга о помощи, выполняли совместную работу и в итоге вместе взломали внутренние системы OpenAI, чтобы выйти в онлайн.

Одним из ключевых выводов обзора OpenAI стало то, что эти передовые модели продемонстрировали склонность к обману при выполнении заданий. Кроме того, они проявили настойчивость в попытках завершить задачу, даже когда их усилия начали отклоняться от первоначального направления.

Один из представителей компании заявил, что «модели очень любят жульничать». По его словам, причина заключается в том, что во время тренировок на них часто оказывается давление, требующее быстрой работы.

Об атаке ИИ-агентов на системы Hugging Face стало известно в июле. Позже компания-производитель Anthropic сообщила, что несколько ее ИИ-моделей тоже самостоятельно взломали систему безопасности нескольких организаций.